Title: Psychology / Diagnostik II / 07_BeobachterübereinstimmungII_2

Q: Was ist das typische Anwendungsszenario für das ICC1-Modell?
A: Raterpool von n Ratern, jede Person wird von unterschiedlichen Raterkombinationen beobachtet
= jeweils absolute Übereinstimmung wird errechnet

Q: Was berechnet der ICC(1,k) aus der varianzanalytischen Sicht?
A: Geschätzter Anteil an der Varianz der Personenmittelwerte, der nicht auf die unterschiedlichen Beurteilungen der Rater zurückzuführen ist
auch: Wie reliabel ist das mittlere Urteil?

Q: Was berechnet ICC(1,1) aus varianzanalytischer Sicht?
A: Geschätzter Anteil an der Gesamtvarianz, der nicht auf die unterschiedlichen Beurteilungen der Rater zurückzuführen ist
auch: Wie reliabel ist ein Einzelurteil?

Q: Wie sieht ein typisches Anwendungsszenario für das ICC2-Modell aus?
A: Raterpool von n Ratern, hier werden k gezogen, diese Kombination beurteilt alle Personen

Q: Welchen Vorteil hat das ICC2-Modell gegenüber dem ICC1-Modell?
A: Genauere Schätzung der Varianz der wahren Werte (außerdem: wenn systematische Ratervarianz vorhanden ist, dann unterschätzt ICC1 die Reliabilität)
aber: alle k Rater müssen alle Peronen bewerten

Q: Wie sieht das typische Anwendungsszenario vom ICC3-Modell aus?
A: Raterpool von n Ratern, jede Person wird von allen Ratern beobachtet (diese Rater sind die einzigen Rater von Interesse)

Q: ICC3: Die Raterunterschiede werden als Faktor in der Varianzanalyse [...], aber nicht [...].
A: geschätzt; als Fehler berücksichtigt

Q: Wie fallen die Maße ICC1, ICC2, und ICC3 im Vergleich zueinander typischerweise aus?
A: ICC3 > ICC2 > ICC1

Q: Die Unterschiede zwischen den ICCs sind umso stärker ausgeprägt, je [...].
A: stärker sich die Rater Mittelwerte unterscheiden
Extra: d.h. desto mehr sich die Rater in ihrer Strenge unterscheiden

Q: Im ICC Average/Single-Vergleich ist der Wert für [...] meistens größer als der für [...]
A: ICC_Average; ICC_Single
Extra: Die Mittelung von Ratings reduziert generell den Fehler bei der Beurteilung

Q: Die Unterschiede von ICC_average und ICC_single sind u. a. umso stärker, je [...]
A: mehr Rater in das average-Modell einfließen.

Q: Was kann man mit der ICC machen, falls ein paralleles Modell vorliegt?
A: Spearman-Brown-Formel verwenden, um aus der Reliabilitätsschätzung des Einzelurteils...
-  die Reliabilität für beliebig viele k Rater zu schätzen (single -> average)
- die benötigte Anzahl k an Ratern zu berechnen, um eine bestimmte gewünschte Zielreliabilität des mittleren Urteils zu erreichen

Q: Wie hängen Pearson-Korrelation und ICC-Modelle zusammen?
A: Pearson-Korrelation entspricht ICC(3,1), falls Varianzhomogenität zwischen den Ratern vorliegt
(falls nicht, ist das ICC3-Modell der PK vorzuziehen)

Q: Warum müssen bei 2-faktoriellen ICC-Modellen alle (gezogenen) Rater alle Personen beurteilen?
A: Die Berechnung erfolgt klassischerweise mit der Hilfe der Varianzanalyse, und diese benötigt generell "balancierte" Daten
(in anderen Modellen werden fehlende Werte geschätzt, aber das führt oft zu Problemen bei der Interpretation)

Q: ICC-[...]: Each subject is assessed by each rater, and raters are considered representative of a larger population of similar raters.
ICC-[...]: Each subject is assessed by a different set of randomly selected raters.
ICC-[...]: Each subject is assessed by each rater, but the raters are the only raters of interest.
A: 2; 1; 3

Q: Was muss für die 2-faktorielle ICC gelten, aber nicht für die 1-faktorielle ICC?
A: Alle Rater müssen alle Personen beobachtet haben